So sánh với các đệ nhất phu nhân và các tổng thống tiền nhiệm, Kennedy và vợ ông, "Jackie", còn rất trẻ. Cả hai đều được yêu thích đặc biệt, theo cung cách dành cho các ca sĩ nhạc pop hoặc ngôi sao điện ảnh hơn là cho giới chính khách, làm ảnh hưởng đến các khuynh hướng thời thượng và trở nên mục tiêu săn ảnh của các tạp chí đang đắt hàng.

Gia đình Kennedy đem đến Nhà Trắng một sức sống mới. Họ tin rằng Nhà Trắng là địa điểm nên được dùng để tán dương những thành quả của nền văn hóa và lịch sử Hoa Kỳ. Họ mời các họa sĩ, nhà văn, khoa học gia, nhà thơ, nhạc sĩ, diễn viên, những người nhận giải Nobel và các vận động viên đến thăm Nhà Trắng. Jacqueline Kennedy cũng sưu tầm các tác phẩm nghệ thuật và trang trí nội thất, dần dần cho trùng tu các phòng ốc trong tòa nhà.

Với hai con nhỏ, Caroline và John Jr. (thường được gọi là "John John"), gia đình Kennedy biến tòa Nhà Trắng thành một nơi trẻ trung và vui thú. Bên ngoài, trên sân cỏ của Nhà Trắng, gia đình Kennedy cho xây dựng một nhà trẻ, một hồ bơi và một ngôi nhà trên cây.

Nhưng bên dưới bề mặt hào nhoáng, rực rỡ là những nỗi đau đến từ các thảm họa cá nhân, đáng kể nhất là cái chết của con trai, Patrick Bouvier Kennedy, vào tháng 8 năm 1963, khi chỉ là một bé sơ sinh.

Sau khi chết, những bí mật về những mối quan hệ ngoài hôn nhân với các nhân viên và khách viếng thăm Nhà Trắng khi John F. Kennedy còn đương chức dần dần được khơi mở. Vào lúc ấy, những vấn đề như thế được xem là không thích hợp nếu đem phơi bày trước công luận, vì vậy, trong trường hợp của Kennedy, chúng không bao giờ được tiết lộ cho công chúng khi ông còn sống, ngay cả khi có những chỉ dấu công khai về mối quan hệ với Marilyn Monroe, theo như cách người nữ diễn viên rất được yêu thích này hát ca khúc Happy Birthday Mr. President tại tiệc chiêu đãi sinh nhật của Kennedy được truyền hình vào tháng 5 năm 1962. Sau cái chết của Kennedy, nhiều điều được tiết lộ, trong đó có mối quan hệ của ông với Judith Campbell Exner, người phụ nữ này cùng lúc có mối quan hệ với một ông trùm Mafia tại Chicago, Sam Giancana.

Kennedy được chọn vào vị trí thứ ba (sau Martin Luther King, Jr. và Mẹ Teresa) trong danh sách những nhân vật được ngưỡng mộ nhất trong thế kỷ 20 của Gallup[19][20].